The power of Deep Neural Networks (DNNs) depends heavily on the training data quantity, quality and diversity. However, in many real scenarios, it is costly and time-consuming to collect and annotate large-scale data. This has severely hindered the application of DNNs. To address this challenge, we explore a new task of dataset expansion, which seeks to automatically create new labeled samples to expand a small dataset. To this end, we present a Guided Imagination Framework (GIF) that leverages the recently developed big generative models (e.g., DALL-E2) and reconstruction models (e.g., MAE) to "imagine" and create informative new data from seed data to expand small datasets. Specifically, GIF conducts imagination by optimizing the latent features of seed data in a semantically meaningful space, which are fed into the generative models to generate photo-realistic images with new contents. For guiding the imagination towards creating samples useful for model training, we exploit the zero-shot recognition ability of CLIP and introduce three criteria to encourage informative sample generation, i.e., prediction consistency, entropy maximization and diversity promotion. With these essential criteria as guidance, GIF works well for expanding datasets in different domains, leading to 29.9% accuracy gain on average over six natural image datasets, and 12.3% accuracy gain on average over three medical image datasets. The source code will be released: \url{https://github.com/Vanint/DatasetExpansion}.

智能药物输送手推车是一种先进的智能药物输送设备。与传统的手动药物输送相比，它具有较高的药物输送效率和较低的错误率。在这个项目中，设计和制造了一款智能的药车，可以通过视觉识别技术识别道路路线和目标病房的房间数量。手推车根据已确定的房间数选择相应的途径，将药物准确地运送到目标病房，并在输送药物后返回药房。智能药物输送车使用直流电源，电动机驱动模块控制两个直流电动机，这克服了转弯角度过度偏差的问题。手推车线检查功能使用闭环控制来提高线路检查的准确性和手推车速度的可控性。病房号的识别由摄像机模块使用微控制器完成，并且具有自适应调整环境亮度，失真校正，自动校准等的功能。蓝牙模块实现了两个合作药物交付车之间的通信，该模块实现了高效，准确的沟通和互动。实验表明，智能毒品输送车可以准确地识别房间的数量，并计划将毒品运送到远处，中间和附近病房的路线，并具有快速和准确的判断的特征。此外，有两个药车可以合作，以高效率和高合作的方式向同一病房运送药物。

高阶相关性学习在数据表示学习中表现出了优越性，在近几十年来，超图已被广泛使用。基于超图的表示方法（例如HyperGraph神经网络）的性能很大程度上取决于HyperGraph结构的质量。如何在数据之间生成超图结构仍然是一项具有挑战性的任务。缺失和嘈杂的数据可能会导致超图结构中的“不良连接”，并破坏基于超图的表示过程。因此，揭示高阶结构，即观察到的数据背后的超图成为一项紧迫但重要的任务。为了解决这个问题，我们设计了深度图结构学习的一般范式，即DeepHGSL，以优化基于超图表的表示超图结构。具体地，受鲁棒性问题的信息瓶颈原则的启发，我们首先将其扩展到HyperGraph Case，该案例由HyperGraph Information Bottleneck（HIB）原理命名。然后，我们应用此原理来指导超图结构学习，其中引入HIB以构建损耗函数以最大程度地减少超图结构中的嘈杂信息。可以优化超图结构，并且可以认为该过程可以增强正确的连接并削弱训练阶段的错误连接。因此，所提出的方法即使在严重的嘈杂结构上提取更健壮的表示也有益。最后，我们在四个基准数据集上评估该模型以进行表示。与其他最新方法相比，对图形和超图结构数据的实验结果证明了我们方法的有效性和鲁棒性。

我们设计了神经动力状态估计（Neuro-DSE），这是一种基于学习的动态状态估计（DSE）算法，用于未知子系统下网络微电网（NMS）。我们的贡献包括：1）具有部分未识别的动态模型的NMS DSE的数据驱动的神经-DSE算法，该算法将神经异常 - 差异方程式（ODE-NET）融合到Kalman滤波器中； 2）一种自动过滤，增强和校正框架，可以在有限和嘈杂的测量下实现数据驱动DSE的自我修复神经-DSE算法（Neuro-DSE+）； 3）一种神经-Kalmannet-DSE算法，该算法将Kalmannet与Neuro-DSE进一步整合在一起，以缓解基于神经和物理的动态模型的模型不匹配； 4）增强的神经-DSE，用于NMS状态和未知参数的联合估计（例如，惯性）。广泛的案例研究表明，在不同的噪声水平，控制模式，电源，观察力和模型知识下，神经-DSE及其变体的疗效。

本文提出了一种新颖的统一特征优化（UFO）范式，用于训练和在现实世界和大规模场景下进行深层模型，这需要集合多个AI功能。不明飞行物的目标是通过对所有任务进行大规模预修。与众所周知的基础模型相比，UFO具有两个不同的重点，即相对较小的模型大小，没有适应性成本：1）UFO以多任务学习方式将广泛的任务挤入中等尺寸的统一模型中并在转移到下游任务时进一步修剪模型大小。 2）不明飞行物不强调转移到新任务。相反，它旨在使修剪模型专门用于一个或多个已经看到的任务。有了这两个特征，UFO为灵活的部署提供了极大的便利，同时保持了大规模预处理的好处。 UFO的一个关键优点是修剪过程不仅可以减少模型的大小和推理消耗，而且还提高了某些任务的准确性。具体而言，UFO考虑了多任务培训，并对统一模型产生了两倍的影响：一些密切相关的任务具有相互利益，而某些任务相互冲突。不明飞行物设法通过新颖的网络体系结构搜索（NAS）方法来减少冲突并保留相互利益。对各种深度表示学习任务（即面部识别，人重新识别，车辆重新识别和产品检索）的实验表明，从UFO中修剪的模型比单件任务训练的对应物更高，但却具有更高的准确性较小的型号大小，验证不明飞行物的概念。此外，UFO还支持发布170亿个参数计算机视觉（CV）基础模型，该模型是该行业中最大的CV模型。

在偏好学习环境中，每个参与者都会在显示的一组候选人中选择$ k $最喜欢的物品的有序列表。（对于每个参与者，该集合可能都不同。）我们确定了人口偏好及其（排名）选择行为的基于距离的排名模型。排名模型类似于曲棍球模型，但使用了称为“反向主要索引（RMJ）”的新距离函数。我们发现，尽管需要对所有排列进行汇总，但基于RMJ的排名分布聚合物将其纳入（排名）选择概率，并具有简单的闭合形式表达式。我们开发有效的方法来估计模型参数并使用真实数据展示其概括功率，尤其是在显示集合有限的情况下。

旨在从长尾数据培训类平衡模型的现有长尾识别方法，通常假设将在均匀的测试类分布上进行评估模型。然而，实际的测试类分布通常违反了这种假设（例如，长尾甚至是长尾的），这将导致现有的方法在现实世界中失败。在这项工作中，我们研究了一个更实用的任务设置，称为测试不稳定的长尾识别，其中训练类分布在测试类分布未知时长尾，可以任意偏斜。除了类别不平衡的问题外，这项任务造成了另一个挑战：培训和测试样本之间的班级分布转移是未识别的。为了处理这项任务，我们提出了一种新的方法，称为测试时间聚合各种专家，提供了两种解决方案策略：（1）一种新的技能 - 多样化专家学习策略，将各种专家培训从单一的处理不同的类分布时颁发不同的专家。长尾训练分配; （2）一种新的测试时间专家聚合策略，利用自我监督来汇总多个专家来处理各种未知的测试分布。理论上我们表明我们的方法具有模拟测试类分布的可提供能力。广泛的实验验证了我们的方法在香草和测试不可知的长尾识别上实现了新的最先进的性能，其中只有三个专家足以处理任意变化的测试级分布。代码可在https://github.com/vanint/tade-agnosticlt获得。

先前的关于自我监督预训练的研究重点是联合培训方案，在该场景中，假定大量未标记的数据一次性地将其作为输入，只有那时才受过培训的学习者。不幸的是，这种问题设置通常是不切实际的，即使不是不可行的，因为许多现实世界的任务依赖于顺序学习，例如，数据是以流方式分散或收集的。在本文中，我们对通过流数据进行了对自我监督的预训练进行了首次彻底而专门的研究，旨在阐明这种被忽视的设置下的模型行为。具体而言，我们在来自ImageNet和域内的四类预训练流数据数据上预先培训超过500个模型，并在三种类型的下游任务和12个不同的下游数据集上对其进行评估。我们的研究表明，以某种方式超出了我们的期望，通过简单的数据重播或参数正则化，顺序的自我监督预训练的预训练证明是联合预训练的有效替代方法，因为前者的性能主要与这些培训相同后者。此外，灾难性的遗忘是顺序监督学习中的一个常见问题，在顺序的自学学习（SSL）中得到了极大的缓解，这是通过我们对损失景观中最小值的表示和敏锐度的全面经验分析来很好地证明的。因此，我们的发现表明，在实践中，对于SSL，可以主要通过顺序学习来代替繁琐的联合培训，这反过来又可以更广泛的潜在应用方案。

Increasing research interests focus on sequential recommender systems, aiming to model dynamic sequence representation precisely. However, the most commonly used loss function in state-of-the-art sequential recommendation models has essential limitations. To name a few, Bayesian Personalized Ranking (BPR) loss suffers the vanishing gradient problem from numerous negative sampling and predictionbiases; Binary Cross-Entropy (BCE) loss subjects to negative sampling numbers, thereby it is likely to ignore valuable negative examples and reduce the training efficiency; Cross-Entropy (CE) loss only focuses on the last timestamp of the training sequence, which causes low utilization of sequence information and results in inferior user sequence representation. To avoid these limitations, in this paper, we propose to calculate Cumulative Cross-Entropy (CCE) loss over the sequence. CCE is simple and direct, which enjoys the virtues of painless deployment, no negative sampling, and effective and efficient training. We conduct extensive experiments on five benchmark datasets to demonstrate the effectiveness and efficiency of CCE. The results show that employing CCE loss on three state-of-the-art models GRU4Rec, SASRec, and S3-Rec can reach 125.63%, 69.90%, and 33.24% average improvement of full ranking NDCG@5, respectively. Using CCE, the performance curve of the models on the test data increases rapidly with the wall clock time, and is superior to that of other loss functions in almost the whole process of model training.

In the scenario of black-box adversarial attack, the target model's parameters are unknown, and the attacker aims to find a successful adversarial perturbation based on query feedback under a query budget. Due to the limited feedback information, existing query-based black-box attack methods often require many queries for attacking each benign example. To reduce query cost, we propose to utilize the feedback information across historical attacks, dubbed example-level adversarial transferability. Specifically, by treating the attack on each benign example as one task, we develop a meta-learning framework by training a meta-generator to produce perturbations conditioned on benign examples. When attacking a new benign example, the meta generator can be quickly fine-tuned based on the feedback information of the new task as well as a few historical attacks to produce effective perturbations. Moreover, since the meta-train procedure consumes many queries to learn a generalizable generator, we utilize model-level adversarial transferability to train the meta-generator on a white-box surrogate model, then transfer it to help the attack against the target model. The proposed framework with the two types of adversarial transferability can be naturally combined with any off-the-shelf query-based attack methods to boost their performance, which is verified by extensive experiments.